Prior works on Information Extraction (IE) typically predict different tasks and instances (e.g., event triggers, entities, roles, relations) independently, while neglecting their interactions and leading to model inefficiency. In this work, we introduce a joint IE framework, HighIE, that learns and predicts multiple IE tasks by integrating high-order cross-task and cross-instance dependencies. Specifically, we design two categories of high-order factors: homogeneous factors and heterogeneous factors. Then, these factors are utilized to jointly predict labels of all instances. To address the intractability problem of exact high-order inference, we incorporate a high-order neural decoder that is unfolded from a mean-field variational inference method. The experimental results show that our approach achieves consistent improvements on three IE tasks compared with our baseline and prior work.

语义Web技术已成功促进了许多具有丰富数据表示方法的RDF模型。它还具有代表和存储多模式知识库（例如多模式场景图）的潜在能力。但是，大多数现有的查询语言，尤其是SPARQL，几乎没有探索隐式多模式关系，例如语义相似性，空间关系等。我们首先通过在RDF图数据库中组织一个大型场景图（即视觉基因组）来探索此问题。基于建议的RDF存储的多模式场景图，我们扩展了SPARQL查询，以回答包含有关颜色，空间等关系推理的问题。进一步的演示（即VGStore）显示了定制查询和显示多模式数据的有效性。

Twitter机器人检测是一项重要且有意义的任务。现有的基于文本的方法可以深入分析用户推文内容，从而实现高性能。但是，新颖的Twitter机器人通过窃取真正的用户的推文并用良性推文稀释恶意内容来逃避这些检测。这些新颖的机器人被认为以语义不一致的特征。此外，最近出现了利用Twitter图结构的方法，显示出巨大的竞争力。但是，几乎没有一种方法使文本和图形模式深入融合并进行了交互，以利用优势并了解两种方式的相对重要性。在本文中，我们提出了一个名为BIC的新型模型，该模型使文本和图形模式深入互动并检测到推文语义不一致。具体而言，BIC包含一个文本传播模块，一个图形传播模块，可分别在文本和图形结构上进行机器人检测，以及可证明有效的文本互动模块，以使两者相互作用。此外，BIC还包含一个语义一致性检测模块，以从推文中学习语义一致性信息。广泛的实验表明，我们的框架在全面的Twitter机器人基准上优于竞争基准。我们还证明了拟议的相互作用和语义一致性检测的有效性。

知识图嵌入（KGE）旨在将实体和关系映射到低维空间，并成为知识图完成的\ textit {de-facto}标准。大多数现有的KGE方法都受到稀疏挑战的困扰，在这种挑战中，很难预测在知识图中频繁的实体。在这项工作中，我们提出了一个新颖的框架KRACL，以减轻具有图表和对比度学习的KG中广泛的稀疏性。首先，我们建议知识关系网络（KRAT）通过同时将相邻的三元组投射到不同的潜在空间，并通过注意机制共同汇总信息来利用图形上下文。 KRAT能够捕获不同上下文三联的微妙的语义信息和重要性，并利用知识图中的多跳信息。其次，我们通过将对比度损失与跨熵损失相结合，提出知识对比损失，这引入了更多的负样本，从而丰富了对稀疏实体的反馈。我们的实验表明，KRACL在各种标准知识基准中取得了卓越的结果，尤其是在WN18RR和NELL-995上，具有大量低级内实体。广泛的实验还具有KRACL在处理稀疏知识图和鲁棒性三元组的鲁棒性方面的有效性。

Twitter机器人检测已成为打击错误信息，促进社交媒体节制并保持在线话语的完整性的越来越重要的任务。最先进的机器人检测方法通常利用Twitter网络的图形结构，在面对传统方法无法检测到的新型Twitter机器人时，它们表现出令人鼓舞的性能。但是，现有的Twitter机器人检测数据集很少是基于图形的，即使这些基于图形的数据集也遭受有限的数据集量表，不完整的图形结构以及低注释质量。实际上，缺乏解决这些问题的大规模基于图的Twitter机器人检测基准，严重阻碍了基于图形的机器人检测方法的开发和评估。在本文中，我们提出了Twibot-22，这是一个综合基于图的Twitter机器人检测基准，它显示了迄今为止最大的数据集，在Twitter网络上提供了多元化的实体和关系，并且与现有数据集相比具有更好的注释质量。此外，我们重新实施35代表性的Twitter机器人检测基线，并在包括Twibot-22在内的9个数据集上进行评估，以促进对模型性能和对研究进度的整体了解的公平比较。为了促进进一步的研究，我们将所有实施的代码和数据集巩固到Twibot-22评估框架中，研究人员可以在其中始终如一地评估新的模型和数据集。 Twibot-22 Twitter机器人检测基准和评估框架可在https://twibot22.github.io/上公开获得。

建模政治参与者的思想视角是许多下游任务中的应用中的计算政治科学的重要任务。现有方法通常限于文本数据和投票记录，而他们忽视了丰富的社会背景和对整体评价的宝贵专家知识。在本文中，我们提出了一个代表性学习框架，政治行为者共同利用了社会背景和专家知识。具体而言，我们检索和提取关于立法者的事实陈述，以利用社会背景信息。然后，我们构建异构信息网络以合并社会背景并使用关系图形神经网络来学习立法器表示。最后，我们用三个目标训练我们的模型，以与专家知识，模型意识形态阶段一致性，模拟回声室现象的表现学习。广泛的实验表明，我们的学到的陈述在三个下游任务中成功地推动了最先进的。进一步分析证明了学到的立法者代表与各种社会政治因素之间的相关性，以及建立了建模政治行动者的社会背景和专业知识的必要性。

识别新闻媒体的政治观点已成为政治评论的快速增长和日益极化的政治意识形态的重要任务。以前的方法专注于文本内容，留出富裕的社会和政治背景，这在论证挖掘过程中至关重要。为了解决这一限制，我们提出了一种政治透视检测方法，包括外部域知识。具体而言，我们构建一个政治知识图形，以作为特定于域的外部知识。然后我们利用异质信息网络来代表新闻文件，共同模仿新闻文本和外部知识。最后，我们采用关系图神经网络，并作为图形级分类进行政治视角检测。广泛的实验表明，我们的方法始终如一地实现了两个现实世界的透视检测基准的最佳性能。消融研究进一步承担了外部知识的必要性以及我们基于图形的方法的有效性。

常规的显着性预测模型通常会学习从图像到其显着图的确定性映射，因此无法解释人类注意力的主观性质。在本文中，为了模拟视觉显着性的不确定性，我们通过在给定输入图像上学习有条件的概率分布来研究显着性预测问题，并将其视为从显着图中的有条件预测问题，并将显着性预测视为从该过程中的样本预测。学会的分布。具体而言，我们提出了一个生成合作的显着性预测框架，其中有条件的潜在变量模型（LVM）和有条件的基于能量的模型（EBM）经过共同训练以以合作的方式预测显着物体。 LVM用作快速但粗糙的预测指标，可有效地生成初始显着图，然后通过EBM的迭代langevin修订将其作为缓慢但良好的预测指标进行完善。如此粗略的合作显着性预测策略提供了两者中最好的。此外，我们提出了“恢复合作学习”策略，并将其应用于弱监督的显着性预测，其中部分观察到了训练图像的显着性注释。最后，我们发现EBM中学习的能量函数可以用作改进模块，可以完善其他预训练的显着性预测模型的结果。实验结果表明，我们的模型可以生成图像的一组不同和合理的显着性图，并在完全监督和弱监督的显着性预测任务中获得最先进的性能。

由于难以应变的分区功能，通过最大可能性培训基于能量的模型（EBMS）需要Markov链蒙特卡罗（MCMC）采样，以近似数据和模型分布之间的kullback-Leibler发散的梯度。然而，由于模式之间的混合难以混合，因此从EBM中的样本是不普遍的。在本文中，我们建议学习变形式自动编码器（VAE）以初始化有限步骤MCMC，例如源自能量函数的Langevin动态，用于EBM的有效摊销采样。利用这些倒置的MCMC样品，可以通过最大似然训练EBM，其遵循“通过合成分析”方案;虽然VAE通过变分贝叶斯从这些MCMC样品中学习。我们称之为该联合训练算法的变分MCMC教学，其中VAE将ebm追溯到数据分布。我们将学习算法解释为信息几何上下文中的动态交替投影。我们所提出的模型可以生成与GANS和EBM相当的样本。此外，我们证明我们的模型可以了解有效的概率分布对受监督的条件学习任务。

Masked image modeling (MIM) performs strongly in pre-training large vision Transformers (ViTs). However, small models that are critical for real-world applications cannot or only marginally benefit from this pre-training approach. In this paper, we explore distillation techniques to transfer the success of large MIM-based pre-trained models to smaller ones. We systematically study different options in the distillation framework, including distilling targets, losses, input, network regularization, sequential distillation, etc, revealing that: 1) Distilling token relations is more effective than CLS token- and feature-based distillation; 2) An intermediate layer of the teacher network as target perform better than that using the last layer when the depth of the student mismatches that of the teacher; 3) Weak regularization is preferred; etc. With these findings, we achieve significant fine-tuning accuracy improvements over the scratch MIM pre-training on ImageNet-1K classification, using all the ViT-Tiny, ViT-Small, and ViT-base models, with +4.2%/+2.4%/+1.4% gains, respectively. Our TinyMIM model of base size achieves 52.2 mIoU in AE20K semantic segmentation, which is +4.1 higher than the MAE baseline. Our TinyMIM model of tiny size achieves 79.6% top-1 accuracy on ImageNet-1K image classification, which sets a new record for small vision models of the same size and computation budget. This strong performance suggests an alternative way for developing small vision Transformer models, that is, by exploring better training methods rather than introducing inductive biases into architectures as in most previous works. Code is available at https://github.com/OliverRensu/TinyMIM.